Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs
适量即满足：RL如何缓解大模型任务冲突的全面分析
🧭 RL训练范式减轻任务冲突 ★ 深度解读
Institute of Automation, Chinese Academy of Sciences · Baidu Inc.
发现RL训练通过on-policy数据、优势衰减与正负联合优化显著减轻模型合并时的任务冲突
📌 工作参考价值（4 点）
- 当需要将多个专用LLM（如电商中的推荐解释生成、查询改写、商品文案生成）合并为一个部署模型时，优先使用RL（如GRPO、PPO）训练各子任务，可大幅降低合并后的性能退化，减少多模型维护成本。
- 训练数据生成采用on-policy方式（模型自身采样+奖励打分）而非静态SFT数据集，能有效减小参数更新幅度，从而降低跨任务参数冲突。
- 同时利用正样本（高奖励）和负样本（低奖励）进行联合优化，而不是像SFT仅依赖正例，这有助于学习更无偏的更新方向，提升不同任务模型合并时的兼容性。
- 在实际工程中，可结合参数平均或TIES等免训练合并策略，直接集成RL-trained任务专家模型，成本低且效果稳定，特别适合希望快速融合多个LLM能力的推荐或Agent系统。